Vợ chồng Karle có ba người con gái, tất cả đều làm việc trong các lãnh vực liên quan tới khoa học: Louise (sinh năm 1946) là nhà hóa học lý thuyết. Jean (sinh năm 1950) là nhà hóa học hữu cơ. Người con gái út, Madeleine (sinh năm 1955) là chuyên gia bảo tàng thuộc lãnh vực địa chất.[1]